Xã Phú Khê hình thành từ lâu đời. Có ngòi Me chảy qua. Ngòi Me là ranh giới tự nhiên giữa 2 xã Phú Khê và Yên Tập.

Thời phong kiến, Phú Khê vừa là xã vừa là tổng. Ngòi Me do Phú Khê quản lý bao gồm từ thượng chí Đá Hiểm, hạ chí Thao Giang tức là toàn bộ con ngòi Me chảy qua địa phận huyện Cẩm Khê, từ thác Đá Thờ, giáp giới Huyện Yên Lập tới sông Thao đều là ngòi của Phú Khê.

Sau Cách mạng tháng Tám năm 1945, Phú Khê chỉ là xã và không còn quản lý con ngòi chảy qua địa phận các xã lân cận nữa.

Từ năm 1970, sau trận lũ lịch sử năm 1969, Phú Khê sáp nhập thêm làng Phú Động (làng trên đảo giữa sông Hồng của xã Sơn Cương huyện Thanh Ba). Nhân dân Phú Động chuyển cư khỏi đảo, lập làng trên đất Phú Khê và trở thành một thôn của xã Phú Khê.

Tháng 1 năm 1996, tách 33 ha đất của xã Phú Khê được cắt để hợp cùng toàn bộ diện tích xã Đông Phú bên cạnh để lập nên thị trấn sông Thao cũ (nay là thị trấn Cẩm Khê).